Quách Bá Hùng sinh ra tại Lễ Tuyền, tỉnh Thiểm Tây. Vào tháng 8 năm 1958, ông Hùng, lúc đó 16 tuổi và vừa hoàn thành trung học, bắt đầu làm việc tại một hãng xưởng của quân đội ở Hưng Bình, tỉnh Thiểm Tây. Ông sau đó đã gia nhập Quân đội Giải phóng nhân dân vào năm 1961. Hai năm sau, ông gia nhập vào Đảng Cộng sản Trung Quốc. Ông đã được đào tạo tại Đại học Quốc phòng Trung Quốc và trường võ bị Tây An, nơi ông tốt nghiệp.[6]

Quách Bá Hùng đã được thăng chức liên tục trong thập niên 1970. Trong Sư đoàn 55 của quân đoàn 19, ông đã lên chức từ một người lính lên đến tham mưu trưởng Sư đoàn 55 vào năm 1982.[4] Năm 1983 ông là tham mưu trưởng của quân đoàn 19 cho đến năm 1985, khi ông trở thành Phó Tham mưu trưởng Quân khu Lan Châu sau khi quân đội Trung Quốc được tái tổ chức dưới thời Đặng Tiểu Bình. Sau đó ông Hùng trở thành chỉ huy của tập quân đoàn 47 chỉ trong ba năm. Năm 1993 ông Hùng trở thành phó chỉ huy của Quân khu Bắc Kinh, trung tâm của cơ sở quốc phòng Trung Quốc, và vào năm 1997 chỉ huy của Quân khu Lan Châu. Vào tháng 9 năm 1999, ông trở thành một thành viên của Ủy ban Quân đội Trung ương, Phó tham mưu trưởng.

Năm 2002, tại Đại hội toàn quốc lần thứ 16 của Đảng Cộng sản Trung Quốc, Quách Bá Hùng đã trở thành Phó Chủ tịch Quân ủy Trung ương (CMC), phục vụ cùng với Hồ Cẩm Đào, người đã trở thành Tổng Bí thư của Đảng Cộng sản ở cùng đại hội. Phó Chủ tịch-của CMC là vị trí điều hành cao nhất cho sĩ quan quân đội. Với chiếc ghế này, Quách có quyền quyết định việc chi tiêu ngân sách quốc phòng cũng như quyết định các công ty nào được tham gia dự án của quân đội. Năm 2012, ngân sách quốc phòng của Trung Quốc là hơn 100 tỷ USD. Quách Bá Hùng giữ chức vụ đó trong 10 năm. Ông về hưu tại Đại hội toàn quốc lần thứ 18 vào tháng 11 năm 2012.